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中 国 搜索 Kubernetes 应 用 平台 部 署 方案 


摘 要 : 简单 地 说 ，kubernetes 是 一 个 管理 跨 主 机 容器 化 应 用 的 系统 ， 是 一 个 容器 的 编排 工具 。 它 实现 了 包括 应 用 部 署 、 高 
可 用 管理 和 弹性 伸缩 在 内 的 一 系列 基础 功能 ， 并 封装 成 为 一 整套 完整 、 简 单 易 用 的 RESTful API 对 外 提供 服务 。Kubernetes 
应 用 平台 的 目的 是 提升 服务 器 性 能 利用 率 、 高 效 部 署 与 弹性 计算 、 高 宛 余 、 定 制 化 的 PaaS 服务 平台 。 我 们 希望 能 创建 一 套 
基于 kubernetes 的 标准 化 、 模 块 化 和 通用 性 的 系统 平台 ， 以 支撑 中 国 搜索 的 应 用 服务 。 
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1. 项 目 背景 核心 层 : Kubernetes 最 核心 的 功能 是 ， 对 外 提供 API 
中 国 搜索 kubernetes 应 用 平台 项 目 是 一 个 PaaS 服务 。 构建 高 层 的 应 用 ， 对 内 提供 插件 式 应 用 执行 环境 。 
平台 ， 以 kubernetes 为 应 用 基础 ， 整 合 项 目 管理 系统 、 应 用 层 : 部 署 (无 状态 应 用 、 有 状态 应 用 、 批 处 理 


CMDB 管理 系统 以 及 CICD 的 整体 运营 平台 ， 目 的 是 为 任务、 集群 应 用 等 ) 和 路 由 ( 服务 发 现 、DNS 解析 等 ) 、 

向 用 户 提 供 一 个 Docker 应 用 的 统一 管理 平台 ， 统 一 分 配 、 Service Mesh( 部 分 位 于 应 用 层 ) 。 

管理 资源 ,将 kubernetes 的 资源 管理 接口 封装 为 应 用 功能 ， 管理 层 : 系统 度量 ( 如 基础 设施 、 容 器 和 网 络 的 度 
实现 可 视 化 web 管理 ， 极 大 地 降低 了 kubernetes 的 使 用 量 ) ， 自 动 化 (如 自动 扩展 、 动 态 Provision 等 ) 以 及 
门槛 。 我 们 还 计划 逐步 完善 平台 内 的 应 用 生态 环境 , 提 策略 管理 (RBAC、Quota、PSP、NetworkPolicy 等 ) 、 

供 丰 富 的 组 件 及 接口 供用 户 调用 。 平 台 自 2018 年 7 月 开 ”Service Mesh (部 分 位 于 管理 层 ) 。 


始 研发 ，10 月 投入 上 线 , 并 持续 迭代 开发 新 版 本 。 目 前， 接口 层 : kubecd 命令 行 工具 、 客 户 端 SDK 以 及 集群 

应 用 平台 支持 并 提供 跨 网 段 计 算 节 点 .flannel ,calico 网 络 、 联邦 。 

万 兆 网 络 分 布 式 存储 等 资源 ， 已 有 数 十 个 项 目 在 平台 上 生态 系统 : 在 接口 层 之 上 的 庞大 容 带 集群 管理 调度 

稳定 运行 。 的 生态 系统 ， 可 以 划分 为 两 个 范畴 。 

2.kubernetes 介绍 Kubernetes 外 部 : 日 志 、 监 控 、 配 置 管理 、CICD。 
Kubernetes 是 Google 基于 Borg 开源 的 容器 编排 调度 Kubernetes 内 部 : CRI ( 容 带 运行 接口 ) 、CNI ( 容 


引擎 ， 作 为 CNCF ( Cloud Native Computing Foundation ) 器 网 络 接口 ) 、CSI、 (容器 服务 接口 ) 、 镜 像 仓库 、 集 
最 重要 的 组 件 之 一 ， 它 的 目标 不 仅仅 是 一 个 编排 系统 ， 群 自身 的 配置 和 管理 等 。 

而 且 提 供 一 个 规范 ， 可 以 让 你 描述 集群 的 架构 ， 定 义 服 。 3.Kubernetes 架构 。 

务 的 最 终 状 态 ，Kubernetes 可 以 帮 你 将 系统 自动 地 达到 和  ” 3. 1 部 署 方 案 


维持 在 这 个 状态 。Kubernetes 作为 云 原 生 应 用 的 基石 ， 相 高 可 用 集群 所 需 节 点 配置 如 下 。 
当 于 一 个 云 操作 系统 。Kubernetes 设计 理念 和 功能 其 实 就 角色 数量 描述 
是 一 个 类 似 Linux 的 分 层 架构 ， 如 下 图 所 示 。 ated 节点 3 为 kubernetes 提供 配置 管理 数据 库 ， 要 求 较 高 
ee | master 省 占 | 2 Kubernetes 控制 节点 ， 可 与 etcd 节点 重用 ， 
Tnterface Layer: Client Libraries and Utilities | 人 HA+ 主 备 模式 要 求 较 高 稳定 性 
、 运行 应 用 负载 的 节点 ， 可 根据 需要 提升 机 器 配 
Govemnance Layer: Automation and Policy Enforcement | node 地 民 20-100| 置 或 增 加 节点 数 四 要 求 CPU 24 核 以 上 ， 物理 内 
存 64G 以 上 
Application Layer: Deployment and Routing | i 
| 网 络 分 布 式 存 储 服务 的 节点 ， 部 署 GlusterFS 集 
存储 节点 | 10-20 | 群 服务 ,可 根据 需要 扩容 节点 。 要 求 较 高 稳定 性 ， 
Nucleus: API and Execution | 万 兆 网 络 大 硬盘 
[| 区 FRR Re 全 aa | ee Rs | (ey el Harbor 服务 2 私有 镜像 仓库 服务 ，HA+ 主 备 模式 ， 要 求 较 高 


1 kubernetes 分 层 设 计 理 念 
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3.2 整体 架构 

所 有 服务 器 被 分 为 三 大 部 分 : 一 部 分 为 master 服 
务 ; 另 一 部 分 为 node 服务 ; 还 有 一 部 分 为 存储 服务 。 其 
中 ，master 服务 器 因 需 要 实现 LB， 需 要 在 同一 网 段 ， 存 
储 服务 器 因 考 虑 到 效率 和 稳定 性 ， 也 需要 在 同一 网 段 且 
最 好 是 万 兆 网 络 。 节 点 服务 器 对 网 络 依赖 不 高 ， 各 服务 
器 间 路 由 可 达 即 可 。 集 群 全 部 服务 器 操作 系统 均 可 采用 
centos7.4 版 本 ， 镜 像 yum 源 要 求 centos 和 epel ， 各 节 皮 
时 区 设置 一 致 、 时 间 同 步 。 

Master 架构 包含 etcd 集群 和 kubernetes master 服务 组 
件 。kuberntes 系统 使 用 etcd 存储 所 有 数据 ， 是 最 重要 的 
组 件 之 一 ， 为 保证 安全 性 ，etcd 需要 安装 服务 顺 证 书 ， 
也 需要 安装 客户 端 证 书 。 


Kubernetes Master 


API Server Controller 


[| ml md [ES [天 本 


2 kubernetes master 服务 架构 


Kubernetes Node 


Image Registry 


Node 1 2, 3, n 


Kubernetes 
Master 


| Supervisord | 


Docker kubelet 


kube-proxy 


3 ”kubernetes node 服务 架构 


master 节点 主要 包含 三 个 组 件 : apiserver、scheduler 
controller-manager。 其 中 : 

apiserver 提供 集群 管理 的 REST API 接口 ， 包 括 认证 

只 有 API Server 才 直 接 操作 etcd， 其 他 模块 通过 API 
Server 查询 或 修改 数据 ， 提 供 其 他 模块 之 间 的 数据 交互 和 
通信 的 枢纽 。 

scheduler 负责 分 配 调度 Pod 到 集群 内 的 node 节点 ， 
监听 kube-apiserver， 查 询 还 未 分 配 Node 的 Pod， 根 据 调 
度 策略 为 这 些 Pod 分 配 节 点 。 
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一 系列 的 控制 带 组 成 ， 它 通过 
apiserver 监控 整个 集群 的 状态 ， 并 确保 集群 处 于 预期 的 
工作 状态 。 

master 节点 的 高 可 用 主要 就 是 实现 apiserver 组 件 的 
高 可 用 , 通过 部 署 配置 haproxy 对 apiserver 进行 负载 均衡 。 

节点 服务 器 主要 包含 docker 服务 、kuber-node 组 件 。 
3.2.1 Docker 

docker 从 1.13 版 本 开始 ， 将 iptables 的 filter 表 的 
FORWARD 链 的 默认 策略 设置 为 DROP， 从 而 导致 ping 
其 他 Node 上 的 Pod IP 失败 ， 因 此 ， 必 须 在 filter 表 的 
FORWARD 链 增加 一 条 默认 允许 规则 iptables -I FORWARD 
-s 0.0.0.0/0 -j ACCEPT。 

docker 镜像 仓库 使 用 国 搜 内 部 私有 仓库 https://reg. 
docker.chinaso365.com， 可 配置 在 /etc/docker/daemon.json， 


controller-manager 由 


替换 docker 的 默认 仓库 。 
3.2.2 Kube—node 
kube-node 是 集群 中 承载 应 用 的 节点 ， 前 置 条 件 需 要 


先 部 署 好 kube-master 节点 ( 因为 需要 操作 用 户 角 色 绑 定 、 
批准 kubelet TLS 证 书 请 求 等 )， 它 需要 部 署 如 下 组 件 。 
docker: 运行 容器 。 
calico: 配置 容器 网 络 。 


kubelet: kube-node 上 最 主要 的 组 件 。 
kube-proxy: 发 布 应 用 服务 与 负载 均衡 。 


3. 3 网 络 架构 
Kubernetes 基于 CNI driver 调用 各 种 网 络 插件 来 配置 
kubernetes 的 网 络 ， 常 用 的 CNI 插件 有 flannel、calico、 
weave 等 ， 这 些 插件 各 有 优势 ， 也 在 互相 借鉴 学 习 优点 。 
比如 ， 在 所 有 node 节点 都 在 一 个 二 层 网 络 时 候 ，flannel 
提供 hostgw 实现 ， 人 避免 vxlan 实现 的 udp 封装 开销 ; 
calico 针对 L3 Fabric 推出 了 IPinIP 的 选项 ， 利 用 了 GRE 
隧道 封装 。 结 合 我 们 的 业务 需求 ， 采 用 calico 网 络 组 建 


图 4 calico 组 网 示意 


Calico 是 一 个 基于 BCP 的 纯 三 层 的 数据 中 心 网 络 方 
案 (不 需要 Overlay ) ， 并 且 与 OpenStack 、Kubernetes、 
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AWS、GCE 等 IaaS 和 容 需 平台 都 有 良好 的 集成 。 

Calico 在 每 一 个 计算 节点 利用 Linux Kernel 实现 了 
一 个 高 效 的 vRouter 负责 数据 转发 ， 而 每 个 vRouter 通过 
BGP 协议 负责 把 自己 上 运行 的 workload 的 路 由 信息 向 整 
个 Calico 网 络 内 传播 一 一 小 规模 部 署 可 以 直接 互联 ， 大 
规模 下 可 通过 指定 的 BCP route reflector 来 完成 。 这 样 保 
证 最 终 所 有 的 workload 之 间 的 数据 流量 都 是 通过 IP 路 
由 的 方式 完成 互联 。Calico 节点 组 网 可 以 直接 利用 数据 
中 心 的 网 络 结构 ( 无 论 是 L2 或 者 L3 ) ,不 需要 额外 的 
NAT、 隧 道 或 者 Overlay Network。 

此 外 ，Calico 基于 iptables 还 提供 了 丰富 而 灵活 的 网 
络 Poliey， 保 证 通过 各 个 节点 上 的 ACLs 提供 Workload 的 
多 租户 隔离 、 安 全 组 以 及 其 他 可 达 性 限制 等 功能 。 

3.4 存储 架构 

GlusterFS 是 kubernetes 私有 化 部 署 方案 中 的 最 优 
存储 解决 方案 ， 它 是 一 个 开源 的 分 布 式 文件 系统 ， 具 
有 强大 的 横向 扩展 能 力 ， 通 过 扩展 能 够 文 持 数 PB 存 
储 容量 和 处 理 数 千 客 户 端 。GlusterFS 借助 TCP/IP 或 
InfiniBand RDMA 网 络 将 物理 分 布 的 存储 资源 聚集 在 一 
起 ， 使 用 单一 全 局 命名 空间 来 管理 数据 。GlusterFS 基 
于 可 堆 革 的 用 户 空 间 设计 ， 可 为 各 种 不 同 的 数据 负载 提 
供 优异 的 性 能 。 

我 们 建议 采用 分 散 卷 的 方式 ， 通 过 指定 元 余 块 的 数 
量 (3:1 ) 达到 高 可 用 ， 同 时 可 提供 性 价 比 最 优 的 I0 吞吐 
量 和 网 络 性 能 。 

性 能 测试 ， 在 万 兆 网 络 环境 下 ，I0 约 为 本 地 磁盘 IO 
性 能 的 30%， 千 兆 网 络 环境 下 对 比 ， 接 近 阿 里 云 NAS 服 
务 性 能 的 2 倍 。 

测试 数据 如 下 : 


万 兆 环 境 |655360 bytes ( 655 kB ) copied, 0.00240202 s, 273 MB/s 


千 兆 环境 | 655360 bytes ( 655 kB ) copied, 0.0103234 s, 63.5 MB/s 


本 地 磁盘 |655360 bytes ( 655 kB ) copied, 0.000753129 s, 870 MB/s 


阿 


上 


里 云 NFS | 655360 bytes ( 655 kB ) copied, 0.0177044 s, 37.0 MB/s 


3.5 集群 管理 


3.5.1 集群 部 署 

部 署 方式 : ansible 统一 部 署 管理 工具 ， 可 实现 etcd 
服务 、docker 服务 、master 节点 、node 节点 、 集 群 网 络 、 
证 书 全 自动 安装 。 


集群 管理 : ansible 统一 部 署 管理 工具 ， 可 实现 node 
节点 增 、 删 ,master 节点 增加 / 蔡 换 ,etcd 节点 增加 /替换 ， 
集群 升级 ， 备 份 恢复 。 
3.5.2 主要 软件 及 版 本 
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Docker v18.06.1-ce 
Kubernetes v1.13 
Etcd v3.2.24 
Calico v3.4.1 
Coredns v1.2.6 
Glusterfs v4.1.5 


3.5.3 1ptables/IPVS 

为 calico 网 络 、 kube—proxy 等 大 量 使 用 iptables 
规则 ， 安 装 前 清空 所 有 iptables 策略 规则 ; CentOS 的 
firewalld 等 基于 iptables 的 防火 墙 直接 外 载 ， 避 免 不 必 要 
的 冲突 。 

kube—proxy 组 件 监 听 API server 中 service 和 endpoint 
的 变化 情况 ， 从 而 为 k8s 集群 内 部 的 service 提供 动态 负 
载 均衡 。kubernetes 在 v1.10 之 前 主要 通过 iptables 实现 ， 
是 稳定 、 推 荐 的 方式 ， 但 在 当 服务 多 的 时 候 会 产生 太 多 
的 iptables 规则 ， 大 规模 情况 下 有 了 明显 的 性 能 问题 ; 在 
v1.11 GA 的 ipvs 高 性 能 负载 模式 ， 采 用 增 量 式 更 新 ， 并 
可 以 保证 service 更 新 期 间 连 接 的 保持 。 
3.5.4Add—ones 

DNS 是 kubernetes 集群 首先 需要 部 署 的 ， 集 群 中 的 
其 他 pods 使 用 它 提供 域名 解析 服务 ; 主要 可 以 解析 集群 
服务 名 SVC 和 Pod hostname; 目前 ，k8s v1.9+ 版 本 可 以 
有 两 个 选择 : kube-dns 和 coredns， 可 以 选择 其 中 一 个 并 
署 安装 。 

Ingress 就 是 从 外 部 访问 k8s 集群 的 人 口 ， 将 用 户 的 
URL 请 求 转 发 到 不 同 的 service 上 。 ingress 相当 于 nginx 
反 向 代理 服务 器 ， 它 包括 的 规则 定义 就 是 URL 的 路 由 
信息 ; 它 的 实现 需要 部 署 Ingress controller( 比如 traefik 


ingress-nginx 等 )，Ingress controller 通 过 apiserver 监听 
ingress 和 service 的 变化 ， 并 根据 规则 配置 负载 均衡 并 提 
供 访问 入 口 ， 起 到 服务 发 现 的 作用 。 
Heapster 监控 整个 集群 资源 的 过 程 : 首先 ，kubelet 
内 置 的 cAdvisor 收集 本 node 节点 的 容器 资源 占用 情况 ; 
然后 ，heapster 从 kubelet 提供 的 api 采集 节点 和 容器 的 资 
源 占用 ; 最 后 ，heapster 持久 化 数据 存储 到 influxdb 中 。 
EFG 插件 是 kubernetes 项 目的 一 个 日 志 解 决 方案 ， 
它 包 括 三 个 组 件 : Elasticsearch、Fluentd、 Grafana。 
Elasticsearch 是 日 志 存 储 和 日 志 搜 索引 擎 ; Fluentd 负责 把 
kubernetes 集群 的 日 志 发 送 给 Elasticsearch; Grafana 则 是 
可 视 化 界面 查看 和 检索 存储 在 Elasticsearch 的 数据 。 
3.5.6 集群 升级 
集群 升级 存在 一 定 风险 , 升级 前 对 etcd 数 据 做 备份 。 
快速 升级 是 指 只 升级 kubernetes 版 本 ， 比 较 常见 ， 
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如 Bug 修 复 , 重要 特性 发 布 时 使 用 。 快速 升级 可 平滑 实现 ， 
不 会 对 业务 产生 中 断 。 
其 他 升级 是 指 升级 kubernetes 组 件 ， 包 括 etcd 版 本 
、docker 版 本 ， 需 制定 详细 的 升级 方案 和 可 能 的 业务 中 
靳 方案 。 
4. 中 国 搜 索 Kubernetes 应 用 平台 

中 国 搜 索 kubernetes 应 用 平台 是 用 于 管理 数据 中 心 
主机 集群 上 的 容器 化 的 应 用 平台 ， 是 提升 服务 器 性 能 利 
用 率 、 高 效 部 署 与 弹性 计算 、 高 元 余 和 定制 化 的 Paas 服 
a 。 该 平台 的 目标 是 让 部 署 容器 化 的 应 用 简单 和 高 


xx 
汽 


持续 部 署 : 平台 实现 快速 、 可 视 化 自动 部 署 功能 。 
弹性 伸缩 : 构建 具有 需求 预测 和 容器 按 需 供给 能 力 
的 弹性 伸缩 子 系统 。 
组 件 管理 : 将 一 个 应 用 涉及 的 所 有 组 件 均 做 了 统一 
管理 。 
高 可 靠 性 : 自动 的 故障 迁移 ， 达 到 秒 级 启动 ， 恢 复 
业务 。 
生态 衍生 : 将 可 标准 化 的 应 用 转变 为 模块 化 服务 ， 
形成 应 用 生态 圈 。 


图 5 让 国 搜索 Kubornotos 应 用 平台 - 仪表 和 人 ) 


图 6 中 国 搜索 kubernetes 应 用 平台 - 仪表 盘 〈 二 ) 


4. 1 资源 统一 分 配 ， 实 时 统计 分 析 

在 kubernetes 集群 高 效 管理 的 基础 上 ， 我 们 实现 了 
对 整体 应 用 情况 进行 统计 分 析 ， 相 对 于 传统 的 物理 层 监 
控 ， 应 用 平台 实现 了 按 项 目 按 应 用 获取 、 分 析 、 展 示 资 
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源 分 配 情况 、 服 务 健康 状态 、 应 用 饱和 度 等 应 用 层面 的 


通过 集群 节点 状态 监控 和 管理 ， 查 看 集群 服务 器 运 
行 状 态 ， 帮 助 管 理 人 员 实 时 了 解 整体 情况 ， 及 时 发 现 、 
排查 故障 隐患 。 

4.2 项 目 统一 管理 

Kubernetes 应 用 平台 采用 按 项 目 分 配 和 管理 资源 及 
应 用 的 模式 ， 更 贴近 于 常规 的 运营 管理 思路 ， 用 户 按 项 
目 为 单位 在 平台 上 申请 权限 ， 获 取 服 务 所 需 资 源 ， 包 括 
CPU 使 用 量 配额 、 内 存 使 用 量 配 额 、 存 储 使 用 量 配额 。 
项 目 与 项 目 之 间 相 互 隔离 , 并 可 添加 私有 镜像 仓库 认证 、 
kube-api 接口 调用 认证 等 访问 控制 。 

项 目 管理 模式 实际 对 应 了 kubernetes 中 的 namespace， 
命名 空间 是 一 种 在 多 个 用 户 之 间 划 分 群集 资源 的 方法 ( 通 
过 资源 配额 ) ， 旨 在 用 于 多 个 用 户 分 布 在 多 个 团队 或 项 
目 中 1 

空间 提供 名 称 范围 。 资 源 名 称 在 名 称 空间 中 必 
是 而 不 是 跨 名 称 空 间 。 在 Kubernetes 中 ， 在 
默认 情况 下 ， 同 一 名 称 空间 中 的 对 象 将 具有 相同 的 访问 
控制 策略 。 

平台 文 持 项 目 成 员 管理 ， 在 项 目 管 理 中 可 定义 多 种 
角色 ， 在 命名 空间 的 基础 上 补充 扩展 了 kubernetes 对 应 用 
管理 权限 的 管理 机 制 。 

项 目 管理 员 ， 拥有 对 项 目 资源 的 申请 和 修改 权限 。 

项 目 负责 人 ， 拥 有 对 项 目 应 用 的 信息 修改 权限 。 

项 目 成 员 ， 拥 有 对 项 目 应 用 的 访问 和 控制 权限 。 

4. 3 应 用 服务 管理 

应 用 服务 管理 模块 ， 统 一 管理 项 目下 的 所 有 应 用 ， 
是 应 用 配置 和 访问 的 入 口 。 包 括 创建 应 用 服务 、 查 看 应 
用 状态 ， 获 取 应 用 服务 信息 。 

平台 应 用 服务 ， 即 对 应 调度 kubernetes 中 的 POD 服 
务 ， 是 一 组 一 个 或 多 个 容器 ( Docker 容器 ) 化 实例 ， 具 
有 共享 存储 / 网络， 以 及 如 何 运 行 容 器 的 规范 。pod 的 内 

容 始终 位 于 同一 位 置 并 共同 调度 ， 并 在 共享 上 下 文中 运 
行 。pod 模拟 特定 于 应 用 程序 的 “逻辑 主机 ” ， 它 包含 
一 个 或 多 个 相对 紧密 耦合 的 应 用 程序 容 吉 。 

4.4 支持 配置 管理 、 任 务 管理 、 监 控 、 日 志 分 析 

通过 平台 提供 的 应 用 管理 功能 ， 我 们 可 以 对 
kubernetes 上 运行 的 应 用 进行 标准 化 的 快速 配置 和 应 用 
通过 应 用 编排 实现 kubernetes 应 用 逻辑 的 自动 配置 ， 通 过 
配置 管理 实现 configmap 定义 或 更 新 ， 通 过 任务 管理 来 启 
动 、 升 级 、 回 深 或 停止 应 用 服务 ， 还 可 通过 应 用 监控 实 
时 调用 查看 应 用 监控 和 运行 日 志 。 
4.5 支持 全 应 用 日 志 收集 
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除了 kubernetes 默认 收集 的 docker 运行 日 志 外 , 平 
台 还 支持 用 户 自 定义 应 用 日 志 的 采集 ， 即 应 用 产生 的 日 
志文 件 。 通 过 平台 的 应 用 日 志 收 集 模块 配置 分 配 日 志 收 
集 服务 至 项 目下 ， 并 自动 关联 项 目下 应 用 的 存储 服务 来 
上 传 日 志 。 支 持 多 日 志 格 式 解 析 、 分 类 索引 配置 、 自 定 
义 索引 格式 、 自 定义 日 志保 存 时 间 等 。 

4.6 支 持 全 容器 终端 操作 

平台 支持 通过 kubernetes api 访问 每 个 应 用 容器 ， 即 
通过 web 终端 进入 容器 内 ， 进 行 命令 行 操 作 ， 帮 助 对 应 
用 的 直观 运行 控制 。 容 器 终端 的 访问 经 kubernetes api 的 
访问 控制 及 应 用 平台 的 权限 控制 ， 同 时 具备 高 安全 性 和 
便捷 性 。 

4.7 支持 有 状态 服务 

有 状态 服务 是 相对 无 状态 服务 的 一 种 kubernetes 应 
用 部 署 模 式 ， 平台 支持 无 状态 应 用 和 有 状态 应 用 模式 两 
种 应 用 。 使 用 有 状态 应 用 部 署 模式 ， 应 用 中 的 每 个 POD 
都 拥有 独立 分 配 且 固 定 的 SVCIP 地 址 及 存储 空间 ， 如 
果 容 需 重 启 或 漂移 ， 它 们 所 使 用 的 资源 将 不 变 ， 使 虚拟 
化 更 接近 于 物理 层 设备 。 通 过 有 状态 应 用 的 模式 可 在 
kubernetes 中 实现 组 建 运 行 ， 如 redis 、kafka、 MongoDB 
等 集群 模式 服务 。 

4. 8 支持 应 用 备份 、 复 制 

平台 提供 应 用 备份 和 复制 功能 ， 快 速 解决 应 用 的 重 
复 部 署 或 多 环境 部 署 需求 。 通 过 应 用 复制 ， 可 快速 创建 
测试 环境 、 预 发 布 环境 、 生 产 环境 的 同步 ， 或 者 快速 部 
署 相同 应 用 需求 的 组 件 服务 。 

4.9 外 部 访问 域名 配置 管理 

平台 通过 域名 配置 实现 kubernetes 外 部 访问 应 用 ， 
通过 调用 kubernetes 接口 实现 Ingress 配置 ， 提 供应 用 对 
外 服务 的 出 口 。 通 过 日 定义 域名 接 入 内 部 服务 ， 文 持 日 
定义 域名 配置 、 路 径 配 置 ， 支 持 http 和 tep 两 种 模式 。 

4. 10 第 三 方 接口 SDK 


POD1 <<interface>> 


Project Tocken 
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图 7 应 用 服务 之 间 的 调用 过 程 


Kubernetes 平台 下 运行 的 应 用 服务 会 存在 一 些 在 不 同 
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的 应 用 间 互 相 调 用 或 状态 控制 的 情况 。 基 于 容 带 间隔 离 
的 机 制 ， 我 们 采用 API 实现 远程 调用 ， 在 kubernetes 应 
用 平台 已 封装 好 一 套 第 三 方 接口 服务 ， 满 足 项 目 内 部 的 
应 用 间 互 访 需 求 。 平 台 提供 一 套 统一 的 客户 端 SDK 来 满 
足 Java、Python 工程 项 目的 此 类 需求 。 调 用 流程 如 下 。 
容 带 a 通过 调用 SDK 请 求 在 容器 b 上 执行 命令 ， 

SDK 实现 步 又 如 下 : 

(1) 容器 a 调 用 SDK， 请 求 参 数 包 括 项 目 私 有 
access key 和 命令 行 ; 

(2 )SDK 调 用 Project token 接口 鉴 权 , 返回 鉴 权 结果 ， 
成 功 返 回 token， 失 败 返 回 错误 代码 ; 

(3 ) SDK 携带 token 请 求 kubernetes API， 调 用 接口 
执行 操作 命令 ; 

(4 ) Kubernetes API 在 容器 b 上 顺序 执行 操作 命令 ， 
并 异步 返回 结果 给 SDK; 

(5 ) SDK 将 执行 结果 异步 返回 给 容 带 a 上 的 应 用 。 响 


( 作者 单位 : 中 国 搜索 信息 科技 股份 有 限 公 司 ) 
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